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Introduction 


Le présent rapport est le quatriéme d'une série de rapports 
d'évaluation sur le Test du recensement national. Le Test du 
recensement national (T.R.N.) a été mené le 4 novembre 1988 dans le 
cadre du programme de recherche et de sondage de Statistique Canada 
en vue du recensement. Ce rapport présente les résultats d'une 
série de réunions de comptes rendus tenues avec les interviewers, 
les interviewers principaux et le personnel des bureaux régionaux 
dans divers bureaux régionaux dans tout le pays. La liste des 


bureaux et du personnel qui y ont participé figure à l'annexe A. 


Dans un vaste essai préliminaire comme le Test du recensement 
national (T.R.N.), un des apports les plus importants au processus 
d'évaluation est la réaction qualitative des personnes qui ont mené 
le test sur le terrain. Les sessions de compte rendu organisées 
pour le T.R.N. avaient comme principal objectif une connaissance de 
la réaction des répondants au questionnaire telle que perçue par les 
interviewers. Dans ce cas particulier, les exercices de compte 
rendu ont eu lieu aprés la livraison du questionnaire du T.R.N., le 
suivi de contrôle sur le terrain et l'exécution du programme de ré- 
interview. Les résultats des comptes rendus ont indiqué clairement 
que les interviewers avaient, grâce à leurs contacts avec les 
répondants, obtenu une importante information de première main sur 
l'accueil du questionnaire du T.R.N. par le public ainsi qu'une 


certaine idée de la réussite obtenue en répondant au questionnaire. 


L'équipe du projet du T.R.N. reconnait et apprécie la précieuse 
information reçue quant à cet aspect du projet et elle remercie le 
personnel des bureaux régionaux et les interviewers trés compétents 
de l'Enquête sur la population active qui ont exécuté les opérations 
sur le terrain pour le T.R.N. Leurs commentaires et leurs 


observations ont été tout aussi importants que constructifs. 


En général, les commentaires concernant le test sont similaires, en 
majeure partie, pour toutes les régions. Toutefois, dans des cas 
très peu nombreux, certains interviewers ont indiqué un probléme que 
d'autres ne semblent pas avoir eu. Aux fins du présent rapport, 
dans les cas où une opinion minoritaire contraire à la tendance 
générale a été consignée, une note précisera la source et en 


expliquera les raisons. 


Objectifs 


Les objectifs des comptes rendus du personnel sur le terrain pour le 
T.R.N. étaient d'obtenir des commentaires et une évaluation de 
première main concernant les opérations de collecte sur le terrain 
afin de déterminer quels aspects de la collecte ou du questionnaire 
à remplir créaient des difficultés aux interviewers ou aux 
répondants. En outre, les comptes rendus ont été considérés comme 
un excellent mécanisme pour transmettre des signaux d'avertissement 


hâtifs quant aux questions du document du T.R.N. qui se sont avérées 


problématiques et qui, en conséquence, pourraient devoir étre 
réévaluées dans les plans analytiques déja mis au point. Afin de 
faciliter un effort coordonné et de faire en sorte que tous les 
sujets importants soient couverts lors de chaque session, un guide 
de compte rendu a été élaboré avec le personnel sur le terrain avant 
la tenue des réunions. Méme si l'objectif des comptes rendus 
étaient d'offrir de l'information sur tous les aspects des activités 
de collecte du T.R.N., un accent particulier a été mis sur les 


sujets suivants : 


1) L'opération de livraison 

2) Le questionnaire 

3) Le guide 

4) La réaction du public au questionnaire 


5) Les réactions et observations des interviewers 


Méthodologie des comptes rendus 


Afin d'obtenir la plus vaste couverture possible du point de vue 
géographique et quant aux opinions exprimées, l'équipe du projet 
s'est divisée en plusieurs sous-groupes. Chacun des groupes s'est 
vu attribuer la responsabilité du compte rendu pour un endroit ou 
plus. L'ordre du jour des réunions était axé sur le guide de compte 
rendu qui a été mis au point par l'équipe du projet plusieurs 


semaines avant les sessions. Les comptes rendus ont eu lieu dans 6 
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bureaux régionaux (St. John's, Halifax, Montréal, Toronto, Winnipeg 
et Vancouver). On a tenté de sélectionner de 8 à 10 interviewers 
dans chaque endroit et de mélanger les interviewers des milieux 
ruraux et urbains. Une copie de l'ordre du jour du compte rendu 


> 


figure a l'annexe B du présent rapport. 


L'opération de livraison 

L'observation la plus courante exprimée au cours de toutes les 
sessions au sujet de la livraison a .été la difficulté d'accès aux 
répondants. Ce problème se manifeste non seulement dans les centres 
urbains mais également dans de nombreux secteurs ruraux. Les 
interviewers ont remarqué qu'au cours des derniéres années, la 
population était devenue beaucoup plus consciente du problème de la 
sécurité. En particulier, les tours d'appartements et de 
condominiums se sont avérées très difficiles d'accès. Il est 
compliqué d'avoir accès à ces édifices non seulement à cause de. 
portes de sécurité et d'entrées verrouillées, mais l'accès se 
complique encore davantage parce que de nombreux concierges de ces 
édifices ne demeurent pas sur les lieux. On a également fait 
remarquer que, dans les cas où les gérants et concierges vivent 
dans l'édifice, ils étaient souvent très peu coopératifs lorsqu'un 


interviewer les abordait pour pouvoir entrer dans l'édifice. 


Un autre problème qui a été mentionné à l'égard de l'opération de 
livraison est l'existence des boîtes à lettres communautaires. Dans 
de nombreuses collectivités, l'absence de livraison du courrier à 
domicile fait qu'il n'y a plus de boîte à lettres ou d'ouverture 
dans la porte d'entrée du logement. Les interviewers ont fait 
remarquer que dans ces cas, il était très difficile de trouver un 
endroit approprié pour laisser le questionnaire. Lors de toutes les 
sessions de compte rendu, on a indiqué que si le questionnaire se 
trouvait dans un sac de plastique qu'on pourrait suspendre à la 
poignée de la porte, l'opération de livraison serait grandement 
facilitée. En outre, plusieurs répondants ont fait remarquer que 
lorsqu'ils avaient retrouvé le questionnaire, les éléments avaient 
été dans certains cas «un peu froissés par le vent et mouillés». 
L'insertion du questionnaire dans une enveloppe ou un sac de 
plastique aurait éliminé ce problème particulier. Les interviewers 
ont fait remarquer que, même si l'enveloppe de livraison utilisée 
pour le test était visuellement attrayante, elle pouvait facilement 
tomber dans la catégorie du courrier «publicitaire». On a indiqué 
très clairement que l'enveloppe de livraison ne devrait pas avoir 
l'apparence de courrier publicitaire. Cependant, lorsqu'on a 
demandé des suggestions sur la façon de faire en sorte que les 
documents livrés n'aient pas l'apparence de courrier publicitaire, 
une des réponses a été la suivante : «De nos jours, presque tout ce 
qu'on trouve dans la boite a lettres a l'air de courrier 


publicitaire.» 
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L'endroit où se trouve le code du «genre de logement» à été 
mentionné dans au moins trois bureaux. On croit que le code du 
logement aurait dû se trouver sur la page couverture ou au dos du 
questionnaire. On a dit préférer ces endroits parce qu'il ne serait 
pas nécessaire de tourner les pages pour remplir le code au moment 


de la livraison. 


Le format des formules de contrôle de la tâche été mentionné comme 
un problème lors des comptes rendus. La principale plainte portait 
sur la quantité de renseignements demandés ainsi que sur la 


dimension peu pratique du papier utilisé pour la formule. 


Le questionnaire 


Il n'y a eu aucun commentaire négatif provenant des interviews à 
l'égard de la conception et de la présentation du questionnaire du 
T.R.N. La réaction au nouveau style de mise en page (avec de plus 
gros caractères et le nouveau logo en forme de drapeau) s'est située 
entre «fantastique» et un tiède «C'est bien». En général, les 
interviewers ont noté que les répondants dans leur ensemble 
trouvaient assez facile de travailler avec le document. Il vaut la 
peine de noter un commentaire fait à plusieurs reprises à l'effet 
que les répondants qui ont eu de la difficulté avec la conception du 
questionnaire du T.R.N. auraient eu de la difficulté avec à peu près 


n'importe quel questionnaire. IL y a également eu un consensus 


général parmi les interviewers pour dire que méme s'ils 
reconnaissaient que des efforts avaient été faits pour faciliter la 
compréhension du langage du questionnaire, de façon générale, les 
termes utilisés dépassaient la compréhension pour de nombreux 
répondants. Ce phénoméne a particuliérement été noté par des 
interviewers dans le processus de contréle des échecs. Au moment de 
procéder à ce contrôle, lorsque les interviewers lisaient la 
question telle que formulée sur le questionnaire, dans de nombreux 
cas, ils ont constaté qu'ils devaient reformuler la question en des 
termes plus simples ou discuter plus en profondeur avec le répondant 
pour déterminer exactement quelle était réellement la réponse 


désirée. 


La page couverture 


Plusieurs des interviewers ont déclaré que méme si les instructions 
sur la façon de remplir le questionnaire (figurant sur la page 
couverture du questionnaire) étaient très claires, ils trouvaient 
que la page couverture du document était «un peu trop chargée». Peu 
de répondants ont lu la lettre du Statisticien en chef. On a 
également noté que le numéro de téléphone sans frais était une tres 
bonne idée, mais que les heures d'affaires du service auraient dû 
figurer à côté du numéro de téléphone. Des interviewers ont indiqué 
que même si les heures d'affaires étaient bien précisées dans le 


guide, ils croyaient que peu de répondants, s'il y en avait, 
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consultaient ou se reportaient en réalité au guide. De plus, 
plusieurs interviewers croient que les mots «sans frais» auraient aa 
apparaitre en évidence, car certains répondants ont pu ne pas les 
voir. Plusieurs commentaires ont été exprimés a l'effet que la case 
de l'adresse et de l'emplacement aurait dû se trouver sur la page 
couverture du questionnaire, ce qui aurait simplifié les opérations 


de suivi. Cette opinion est contraire aux recommandations du groupe 


de travail de la Price Waterhouse (se reporter au rapport n° 1 du 


T.R.N.). 
Observations générales 


Plusieurs des interviewers qui ont travaillé au dernier recensement 
ont trouvé que la conception du questionnaire était grandement 
améliorée par rapport à la version de 1986. Des interviewers ont 
fait remarquer que la mise en page de la formule était plus 
compatible avec le suivi par téléphone puisque les questions peuvent 
être posées pour tous les membres du ménage sans avoir à répéter les 


questions pour chaque personne. 


Des interviewers ont également fait remarquer que pour certains 
répondants, l'approche par «ÉTAPE» peut avoir entraîné une certaine 
confusion. Dans certains cas, la différence entre Étape 1 et 
Question 1 ou Étape 2 et Question 2, etc., n'était pas toujours 
limpide. Des interviewers ont ajouté que les répondants éprouvant 


cette confusion devaient constituer une minorité. 


Questions portant sur le champ de l'enquéte (étapes 1 a 4) 


En général, ces questions n'ont posé aucun véritable probléme 
significatif. Des interviewers ont dit croire que les répondants 


n'ont habituellement pas lu les instructions en petits caractères 


qui accompagnaient la question sur la liste des personnes (étape 2). 


En outre, certains interviewers soupçonnent que dans quelques cas, 
les enfants peuvent ne pas avoir été mentionnés dans la liste 
puisque les instructions ne précisaient pas de les mentionner. La 


question portant sur les résidents temporaires (les personnes qui 


ont passé la nuit dans ce logement, étape 3) a entrainé une réaction 


mitigée. Cette question semblait susciter une certaine réticence 


parmi les répondants célibataires plus jeunes et les personnes 


âgées mais, de façon générale, elle ne semble pas avoir fait l'objet 


d'une opposition importante. 


Exploitant agricole (étape 5) 


Malgré une question spécifique sur ce poste en particulier lors des 
sessions de compte rendu, les interviewers n'ont apporté aucun 
commentaire. En général, les ménages qui avaient a y répondre ont 
répondu à la question et elle n'a posé aucune difficulté dans les 


opérations de collecte sur le terrain. 
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Date de naissance et sexe (questions 2 et 3) 


Ces questions n'ont posé aucun problème. 


Lieu habituel de résidence (question 4) 


La présentation de cette question a entraîné une certaine confusion. 
La question a entraîné des réponses répétitives. Les personnes dont 
le lieu habituel de résidence était «Ici» avaient tendance à remplir 
une deuxième fois la case de l'adresse, comme à l'étape 1. En 
conséquence, une petite portion de la population a raté le mode de 
passage de la question 4 et a donné deux fois la même information. 
Des interviewers ont suggéré que le format de la question soit 


modifié afin d'éviter ce problème de double réponse. 


Lien avec la personne 1 (question 5) 


Cette question a semblé être bien complétée par les répondants et 
les interviewers n'y ont vu aucun problème majeur apparent. Même si 
le format de la question n'a pas entraîné de problèmes, c'est le cas 
de certaines catégories de réponses. En particulier, des répondants 
ont soulevé le problème qu'il n'y avait pas de catégorie pour 
signaler les «belles-filles et beaux-fils». Les instructions du 


guide escamotent cette situation. L'instruction est d'inclure des 
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enfants d'un autre lit dans la catégorie de fils ou fille. Des 
interviewers ont fait remarquer qu'il y a une certaine hésitation 
chez des répondants a inscrire les enfants d'un autre lit comme fils 


ou filles. 


Etat matrimonial légal (question 6) 


Dans de nombreux cas, les réponses à ce poste n'ont pas été données 
pour les enfants. Il y a eu certains cas où des personnes qui 


vivaient en union libre ont refusé de répondre a la question 6. 


Union libre (question 7) 


L'expression a été perçue à la fois comme délicate et incorrecte par 
certains répondants. De nombreuses personnes qui avaient indiqué a 
la question 6 que leur état matrimonial était «Légalement marié(e) 
(et non séparé(e))» n'ont pas répondu à la question 7 parce qu'elles 
croyaient qu'elle ne s'appliquait pas à elles. De plus, la question 
a semblé très inappropriée pour les enfants et, dans ces cas, elle a 
été jugée inapplicable et ignorée. Des interviewers ont exprimé le 
sentiment que dans un certain nombre de cas, l'expression «union 


libre» était perçue comme offensante par certains répondants. 
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Langue (questions 8, 9 et 10) 


De nombreux répondants se sont plaints que les questions semblaient 
très répétitives et qu'en conséquence, ils pouvaient ne pas les 
avoir réellement différenciées. On a dit que la question demandant 
quelle était la langue «parlée en premier lieu» était «stupide» pour 
des enfants qui n'ont pas encore commencé à parler. Dans 
l'ensemble, les interviewers ont constaté que ces questions avaient 


été assez bien complétées. 


Antécédents culturels (questions 11 à 17) 


Se fondant sur la réaction au moment du suivi et d'une ré-interview, 
il y avait parmi les interviewers un certain sentiment que le lieu 
de naissance des parents était une question délicate. En 
particulier, les personnes qui ne connaissaient pas de façon 
certaine l'un ou l'autre de leurs parents ou même les deux ont eu de 
la difficulté avec toutes les questions de cette section lorsque les 
renseignements concernaient leurs parents. On a noté que le guide 
n'était d'aucune utilité dans ces cas puisqu'on n'y mentionne pas 


comment répondre à ces questions lorsque les parents sont inconnus. 


Deux thèmes principaux ont semblé émerger de la section du 
questionnaire du T.R.N. portant sur les antécédents culturels 


(questions 15 et 16). Le premier avait trait à la réaction négative 
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provoquée par le fait que la catégorie «Canadien» se trouve la 
dernière de la liste. Il semblerait qu'à l'examen visuel des 
questionnaires au cours du processus de contrôle, des interviewers 
ont constaté que de nombreux répondants semblaient être revenu en 
arrière et avoir effacé ou rayé des réponses précédentes après avoir 
vu la catégorie «Canadien». En plusieurs occasions, des 
interviewers ont dit que des commentaires avaient été fait à l'effet 
que la catégorie «Canadien» devrait être placée en premier. Le 
second thème avait trait à la réaction de répondants qui ont dit que 
les questions 15 et 16 leur semblaient répétitives. Dans certains 
cas, des répondants ne semblent pas comprendre les différences entre 
la question portant sur les «parents et grands-parents» et «eux- 
mêmes». Pour les personnes qui ne voient pas la différence, une 
question soulevée à plusieurs occasions est la suivante : «Jusqu'où 


faut-il reculer dans le temps?» 


Race et couleur (question 17) 


A l'exception de la région de Winnipeg, cette question semble ~ 
n'avoir posé aucun problème et lors des autres sessions de compte 
rendu, elle a soulevé très peu de discussion, les interviewers . 
indiquant que dans la plupart des cas la question semblait atteindre 
de bons niveaux de réponse. En résumé, a l'exception de Winnipeg, 


la question ne semble pas controversée. 
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Les interviewers de la session de Winnipeg ont fait remarquer que 
des répondants trouvaient la question offensante, sentiment ressenti 
en particulier par les Métis. On a indiqué que si l'on veut que la 
question soit réaliste, on devrait envisager d'ajouter une catégorie 
de réponse, «Brun». Plusieurs répondants se sont plaints de ne pas 


avoir «Brun» comme option de réponse. 


Religion (question 18) 


Plusieurs interviewers ont indiqué qu'il y avait eu des plaintes au 
sujet des catégories de réponses de ce poste. Le commentaire le 
plus fréquemment entendu était à l'effet que les catégories de 
réponses visaient des dénominations et non des religions. En 
conséquence, des répondants ont exprimé le désir qu'il y ait des 
catégories comme «Protestante» et «Chrétienne». Cette question a 


été trouvée offensante par certains répondants. 


Mobilité (questions 19, 20 et 21) 


Ces questions n'ont posé aucun problème majeur. Dans certains cas, 
des répondants ont raté le mode de passage s'ils n'avaient pas 
déménagé au cours des 5 dernières années. En conséquence, même 
lorsqu'ils avaient vécu dans la même ville, ils avaient tendance à 


remplir l'adresse. I1 s'agit d'un problème d'encombrement de la 
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formule, ce qui n'est pas considéré comme un défaut sérieux. A la 
question 21, il n'est toujours pas facile de savoir si les 
répondants comprennent le niveau géographique à signaler. Lorsqu'il 
y a lieu, nous recherchons l'indication d'une municipalité. Les 
améliorations à apporter ou non ne pourront être déterminées 


qu'après l'analyse des estimations pondérées de cette question. 


Famille (questions 22 et 23) 


La question de la fécondité a été trouvée délicate. IL y a eu une 
certaine confusion pour les hommes célibataires concernant le mode 
de passage puisque la question 22 ne s'appliquent qu'aux femmes. 
Pour cette question, un raffinement des modes de passage pourrait 
être approprié. De plus, certains hommes ont répondu à la question 


portant sur la fécondité. 


La question 23 portant sur les antécédents matrimoniaux a entraîné 
de la confusion chez les personnes qui vivaient en union libre avant 
leur mariage avec leur partenaire en union libre. Dans certains de 
ces cas, il y a eu de la confusion quant à la date à signaler 


(c'est-à-dire union libre ou mariage). 
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Scolarité (questions 24 à 29) 


En général, ces questions n'ont posé aucun problème majeur, comme en 
témoignent les sessions de compte rendu. Des interviewers ont 
indiqué que la présentation de ces postes en particulier semblait 
plutôt encombrée comparativement à d'autres questions de la formule. 
Il en est résulté chez des répondants une certaine intimidation due 
à la complexité perçue des questions. A la question 24, certains 
répondants ont coché la case existant à leur intention pour inscrire 
le nombre d'années. Pour remplir ce poste, l'instruction pourrait 
être améliorée par l'ajout du mot «inscrire» le plus haut niveau. 

A la question 28, les avocats semblent ne pas beaucoup aimer se 


retrouver dans la catégorie «Baccalauréat». 


Travail (questions 30 à 42) 


. Les questions 30 et 31 ont posé certains problèmes à des personnes 


qui étaient sur le point de changer d'employeur ou qui venaient tout 
juste de commencer à travailler. Des interviewers ont fait 
remarquer que les instructions du guide ne sont pas très claires 
pour de telles situations. Très peu de répondants ont lu la note de 
la question 32 concernant «le dernier emploi et l'occupation de plus 
d'un emploi». Des interviewers ont fait remarquer que des 
répondants avaient trouvé répétitives les questions nécessaires pour 


coder l'entreprise, l'industrie ou le service (exemple, boulangerie, 
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boulanger, pâtisserie). Des interviewers sont signalé plusieurs 
plaintes ayant trait a la question portant sur le lieu de travail 
(question 34). De nombreux répondants ont trouvé cette question 
délicate et ont mis en doute la nécessité de dévoiler ce 


renseignement. 


La question 39 a été a plus problématique du test. Ce poste a été 
mentionné comme un problème dans toutes les sessions de compte 
rendu. Se fondant sur le suivi de contrôle sur place, l'évaluation 
que font les interviewers de ce poste était que de façon constante, 
les répondants ont mésinterprété la question. Les interviewers ont 
constaté qu'au moment du suivi de contrôle, ils devaient prendre 
beaucoup de temps pour expliquer la question aux répondants. Le 
principal problème de cette question était que les répondants 
signalaient des années de travail cumulatives plutôt que le nombre 
d'années travaillées tel que demandé. On doit noter que l'attention 
portée à ce poste peut avoir été, jusqu'à un certain point, le 
résultats de complexités dans les procédures de suivi sur place. 

Les procédures de suivi ne rendaient pas obligatoires les postes 30 
ou 31. Cela a rendu difficile la détermination de la population qui 


aurait dû répondre à la question 39. 


Au poste 40, de nombreux répondants qui avaient travaillé pour le 
même employeur pendant une longue période (c'est-à-dire 10 ans ou 
plus) ont eu beaucoup de difficulté à se souvenir du mois où ils 


avaient commencé à travailler pour l'employeur. La plupart 
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tentaient simplement de se souvernir de la saison et établissait 


alors la meilleure hypothése quant au mois. 


Revenu (question 43) 

Les questions portant sur le revenu ont soulevé les objections 
habituelles, soit que le gouvernement posséde déja ce renseignement 
(à partir des déclarations d'impôt). Les personnes qui reçoivent 
des prestations d'aide sociale fédérales, provinciales ou 
municipales sont très sensibles à cette question. Les interviewers 
ont fait remarquer que même si la raison avancée pour recueillir 
cette donnée est expliquée dans le guide, souvent, celui-ci n'est 
pas lu et, s'il l'est, peu de personnes croient aux raisons 
invoquées. On a suggéré qu'une explication de la raison pour 
laquelle les données sur le revenu ne sont pas disponibles auprès de 
Revenu Canada-Impét soit élaborée dans le CR et dans le Guide 


puisque c'est la question le plus souvent posée par les répondants. 


Dans de nombreux cas, et particulièrement lors du suivi téléphonique 
des non-réponses, les répondants avaient rarement consulté leurs 
dossiers. En conséquence, la plupart des réponses fournies pour le 


revenu ont été des estimations. 


Des interviewers ont fait remarquer qu'en un certain nombre 


d'occasions, il y a eu un certain nombre de demandes de 
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professionnels, qui avaient une pratique constituée en société 
(exemple, médecine vétérinaire), quant à savoir s'ils devaient 
indiquer le revenu qui leur provient de cette pratique constituée en 
société. La question était de savoir si ce revenu devait étre 
signalé en 43(a) comme salaires et traitements ou en 43(b) comme 
revenu d'un travail autonome non agricole. 

Plusieurs interviewers ont demandé si, dans la section portant sur 
le revenu, il serait possible de se référer au nombre exact de 
lignes des formulaires de déclaration d'impôt sur le revenu. En 
plus de contribuer à résoudre certains problèmes de définition, ils 
considéraient que cette façon de procéder inciterait les gens à 
consulter leurs dossiers fiscaux et, par conséquent, à améliorer la 


précision des réponses pour ces données. 


Dans la catégorie «Autre revenu provenant de sources publiques», des 
répondants ne comprenaient pas clairement s'ils devaient inclure la 


valeur de timbres ou de bons d'alimentation et de subsides au loyer. 


Rémunération actuelle (questions 44 et 45) 


La question du salaire n'a pas semblé posé quelque problème majeur 
.de collecte. Une évaluation globale semble indiquer qu'on a 
généralement bien répondu à ces questions. Dans certains cas, on a 


répondu aux questions relatives au revenu et les questions portant 
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sur le salaire ont été laissées sans réponse. Cela semble être 
attribuable au fait que dans ces cas, le répondant avait signalé ses 
salaires et traitements globaux en réponse à la question 43(a) et 
qu'il croyait en conséquence que la question sur le salaire était 


répétitive. 


Questions portant sur le logement (questions 46 à 55) 


En général, les commentaires sur cette section ont été positifs. 
Quelques problémes mineurs sont survenus concernant certaines des 
périodes de référence pour lesquelles on demandait aux répondants de 
signaler des données et ayant trait a la disponibilité de ces 
données. Par exemple, à la question 53, on demande quels ont été 
les paiements de l'année pour l'électricité, le mazout, l'eau et les 
autres services municipaux; dans de nombreux cas, ces services sont 
facturés mensuellement ou tous les deux mois et, en conséquence, les 
répondants ne se sentaient pas à l'aise pour signaler ces paiements 
sur une période de douze mois. Les interviewers croient que peu de 
répondants se sont référés à leurs comptes ou à leurs factures pour 


répondre aux questions de cette section. 


En résumé, il semblerait que, du point de vue des interviewers, le 
questionnaire a en général permis d'accomplir la tache de collecte 
pour laquelle il avait été conçu. IL y a eu plusieurs champs de 


préoccupations exprimés, notamment en ce qui a trait a des questions 
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très délicates pour les répondants ou à des questions 
problématiques. Ces problèmes mentionnés au cours des comptes 
rendus recevront plus d'attention lors de la phase d'analyse des 


données du projet. 


Réaction du public 


Les interviewers sont peut-étre ceux qui sont les mieux placés pour 
faire des observations sur la réaction du public par rapport a 
n'importe quelle activité de collecte donnée. En général, la 
réaction du public au questionnaire du T.R.N., telle qu'évaluée par 
les interviewers, a été que la plupart des répondants trouvaient le 
questionnaire trop long et que les renseignements recueillis étaient 
d'ordre plutôt personnel. Ayant exprimé ce point de vue, les 
interviewers ont également fait remarquer que la plupart des 
répondants ont rempli le questionnaire par eux-mêmes ou avec l'aide 


de l'interviewer au moment du suivi. 


Les interviewers ont insisté sur le fait que lorsqu'un contact est 
établi au moment de la livraison, le taux de retour est radicalement 
amélioré. Ils ont indiqué que dans la formation au recensement de 
1991, on devrait mettre un certain accent sur l'avantage indéniable 
d'une prise de contact au moment de la livraison. Ce contact 
présente une occasion de «vendre l'enquête». Des interviewers sont 


allés jusqu'à suggérer qu'un «travail à la piece» maximisant les 
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contacts entrainerait des gains en argent qui seraient plus élevés 
pour chaque unité. En guise de mesure préliminaire, il semblerait 
que les logements contactés au moment de la livraison sont trois 
fois plus susceptibles de retourner le questionnaire que ceux ou 


aucun contact n'est établi. 


Il y a également eu une affirmation très claire que le contenu du 
document était perçu comme écrasant. Tout en voulant bien remplir 
le questionnaire, de nombreux répondants ont indiqué que la tâche 
était plutôt importante. Les estimations du temps nécessaire pour 
remplir le questionnaire se situent entre 15 minutes et une heure 
par logement. Se fondant sur la durée des interviews de suivi sur 
place, les interviewers estiment que la durée a été d'environ 30 


minutes par ménage. 


Le questionnaire pose des difficultés aux personnes âgées. On doit 
insister sur le fait que ces difficultés ne sont pas le résultat de 
la présentation du questionnaire mais plutôt du contenu des 


questions et des concepts eux-mémes. 


Lors de plusieurs des sessions de compte rendu, on a affirmé que le 
public ne croit pas réellement que les données recueillies resteront 
confidentielles. En dépit de l'assurance faite que les données du 
T.R.N. sont recueillies en vertu de la Loi sur la statistique, les 


interviewers avaient l'impression que le grand public est tres 


' sceptique au sujet de la promesse de confidentialité. 
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Plusieurs interviewers ont retrouvé certains postes spécifiques sans 
réponse. Dans ces cas, les répondants avaient refusé de fournir les 
renseignements parce qu'ils croyaient que la nature de la demande 
était trop personnelle. En particulier, il y a eu des objections 
réguliéres aux questions portant sur la fécondité et sur le revenu. 


Les principaux motifs des refus trés peu nombreux étaient les 


suivants : 


1) le gouvernement demande beaucoup trop de renseignements et la 
plupart de ces renseignements demandés lors du test ont déja 


été recueillis par quelqu'un d'autre; 


2) les questions sont trop personnelles; 
3) on ne croit pas que les données sont gardées confidentielles. 
Le Guide 


Les commentaires sur le guide ont été négatifs. La tentative de 
moderniser le guide en termes de contenu et de format a été un 
échec. Selon les normes des interviewers, le contenu du guide 
n'était pas trés utile, ce qui est principalement attribuable au 
niveau de langage et aux sujets abordés. Les raisons de poser les 
questions ont été trouvées faibles. Les interviewers ont fait 
remarquer qu'ils constatent que les répondants s'inquiétent de plus 


en plus de connaître la «façon» dont les données seront utilisées et 
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de savoir «qui» les utilisera. De plus, on croit que plusieurs des 
instructions détaillées du guide rendent les questions plus confuses 
plutôt que de les clarifier. La majorité des commentaires ont porté 
sur le fait que pour les répondants trés peu nombreux qui utilisent 
le guide, il n'est d'aucune utilité. Il n'y a pas eu de 
commentaires négatifs sur la formule bilingue du guide. Les 
interviewers croient que le format bilingue est positif parce qu'il 
permet de n'avoir à laisser qu'un seul document à la porte. Du 


point de vue des répondants, le format bilingue donne au guide 


_ l'aspect d'un roman (trop épais et très lourd). De plus, il aurait 


été utile que les pages du guide soient numérotées. 


Résumé et conclusions 


D'après les résultats du compte rendu, plusieurs problèmes majeurs 
soulevés par le questionnaire font l'objet des mêmes observations 
pour l'ensemble du pays. Le premier est le problème de l'accès aux 
gens. Ce problème est à deux volets. Le premier est l'accès 
physique aux appartements et condominiums des constructions en 
hauteur ainsi que la livraison dans les boîtes à lettres 
communautaires. Le second volet concerne la prise de contact avec 
un ménage, qui devient de plus en plus difficile. Il s'agit d'un 
problème important en raison du «rendement» de l'établissement d'un 
contact en termes de taux de réponse améliorés et de facilité de 


contact au moment du contrôle sur place. En termes de quantité de 
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renseignements demandés, la longueur du questionnaire pourrait poser 
des problèmes. Les interviewers ont l'impression que, malgré le 
fait que la plupart des répondants ont accepté de répondre au 
T.R.N., le questionnaire à été trouvé fastidieux par la plupart 
sinon par tous les répondants. Les personnes âgées ont de la 
difficulté avec la tâche globale de remplir le questionnaire. Dans 
de nombreux cas, elles avaient besoin ou ont demandé aux 
interviewers de les aider à remplir le document. Les interviewers 
croient que, quelle que soit la conception adoptée pour 1991, cette 
situation concernant les personnes âgées ne changera probablement 
pas. La question de la vie privée est commune à toutes les régions. 
Plusieurs des questions du document ont été perçues comme une 
invasion dans la vie privée (ce que certains répondants ont trouvé 
offensant). Selon les réactions reçues par les interviewers, les 
répondants accordent peu ou pas de crédibilité aux assurances de 


confidentialité offertes par la Loi sur la statistique. 


Enfin, malgré certains défaut que le test a permis de déterminer, en 
général, les interviewers croient que le questionnaire représente 
une amélioration par rapport à la version de 1986 et que, compte 
tenu des exceptions mentionnées ci-dessus, il semble avoir été bien 


rempli dans l'ensemble. 
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ANNEXE B 


SÉANCE DE COMPTE RENDU 


TEST DU RECENSEMENT NATIONAL 
PARTIE 1 ~ OPERATION DE LIVRAISON 


l. Avez-vous des commentaires à formuler sur la façon dont s'est déroulée la 
livraison à domicile des documents dans le cadre du TRN, et sur ces 
documents eux-mêmes, c'est-à-dire leur format, la quantité, etc.? 


2. Désirez-vous faire des commentaires sur les situations et les problèmes 
que vous avez rencontrés en livrant les questionnaires à domicile, par 
exemple, sur les secteurs où se retrouvent des boftes postales 
communautaires, Les immeubles d'appartements, etc.? 


PARTIE 2 — QUESTIONNAIRE 


(Pour cette discussion, assurez-vous que tous les participants ont une copie 
du questionnaire. En ce qui concerne les questions 4 et 5, il faudra examiner 
chaque page du questionnaire afin que toutes les parties qui posent des 
problèmes soient traitées). 


3. Commentaires sur la présentation et la conception du questionnaire. 
a) Est-ce que le procédé des "étapes" donne les résultats attendus? 


b) Les instructions indiquant de "passer à" étaient-elles claires? 
c) Le questionnaire était-il facile à comprendre pour les déclarants? 


4. En se basant sur le contrôle et le suivi, quelles questions ont présenté 
un problème ou de la difficulté pour les déclarants? 


5. Pour ceux d'entre vous qui ont rempli des questionnaires entiers avec les 
déclarants, quelles sont les questions que ceux-ci ont trouvé difficiles 
ou qui leur ont posé des problèmes? 


6. Les répondants ont~il dû consulter des dossiers pour pouvoir répondre à 
certaines questions? 


7. Lorsque vous avez interrogé les déclarants pour remplir les 
questionnaires, avez-vous trouvé plus facile de répondre à toutes les ° 
questions à la fois pour une personne ou bien à une question pour toutes 
les personnes à la fois? Avez-vous une idée de la façon dont les 


déclarants se sont débrouillés avec cette présentation "à matrice"? 


8. Combien de temps, en moyenne, a-t~il fallu pour remplir le questionnaire? 
PARTIE 3 — LE GUIDE 
9. Commentaires sur le Guide. 

a) Les déclarants ont~ils utilisé le Guide? 

b) Le Guide a-t-i1 été utile? 


c) A-t-on fait des remarques au sujet de la présentation ou du contenu 
bilingues du Guide? | 


d) Les explications et les directives fournies pour aider à répondre aux 
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questions étaient-elles adéquates? Sinon, quels ont @té@ les problèmes? 
PARTIE 4 - AUTRE MATERIEL DU TRN 


10. Avez-vous d'autres commentaires concernant les autres documents utilisés 
dans le cadre du Test du recensement national, c'est-à-dire les enveloppes 
à laisser, les enveloppes de retour, etc.? 


PARTIE 5 — REACTION DU PUBLIC 


11. Quelle a été la réaction générale du public au Test du recensement 
national et au questionnaire? 


12. Quelles raisons les déclarants ont-ils données pour ne pas remplir le 
questionnaire? 


a) Commencez par la raison que vous avez entendue le plus souvent et 
essayez d'évaluer le pourcentage de fois où cette raison a été 
invoquée. 

b) Combien de fois un déclarant a-t-il fourni les raisons suivantes pour 
expliquer son refus de participer? 

(Ne lisez que les raisons qui ne figurent pas en 12 a).) 
Atteinte à la vie privée 
Problèmes de mémoire (ne se rappelle pas) 
Manque de documents ou de dossiers 
Trop long ou trop complexe 


PARTIE 6 ~ REACTION GENERALE ET COMMENTAIRES DE TOUS LES PARTICIPANTS 


= 


13. Quelqu'un a-t-il des questions ou des commentaires à ajouter? (Discussion 
libre par tous les participants, y compris les observateurs.) 
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Introduction 


This report is the fourth in a series of evaluation reports on 
the National Census Test. The National Census Test (N.C.T.) was 
conducted on November 4, 1988 as part of the Statistics Canada 
census research and testing program. This report presents the 
results of a series of debriefing meetings held with interviewers, 
senior interviewers, and regional office staff in various regional 
offices across the country. The offices and staff involved are 
listed in appendix "A". 


In a large pretest such as The National Census Test (N.C.T.). one 
of the most important inputs to the evaluation process is 
qualitative feedback from the people who fielded the test. The 
debriefing sessions established for the N.C.T. had as their major 
objective a reading of respondent reaction to the test 
questionnaire as perceived by the interviewers. In this particular 
application the debriefing exercises were conducted after the 
N.C.T. questionnaire had been dropped off, the field edit follow- 
up conducted and the re-interview program completed. It was clear 
from the results of the debriefings that the interviewers had, 
through contact with respondents, gleaned some important first-hand 
information on the public reception of the N.C.T. questionnaire, 
as well as some idea as to how well the questionnaire was 


completed. 


The N.C.T. project team acknowledges and appreciates the valuable 
information provided in this aspect of the project and thanks both 
the regional office staff and the very capable Labour Force Survey 
interviewers who completed the field operations for the N.C.T. 
Their comments and observations were both important and 


constructive. 


In general, the comments concerning the test were, for the most 
part, consistent across all regions. However, in a very few 
instances there were some interviewers who indicated a problem that 


others did not seem to have. For the purpose of this report in 
those instances where a minority opinion was registered contrary 
to the general trend, a note is provided as to the source, as well 


as an explanation of the circumstances. 
Objectives 


The objectives of the field staff debriefings for the N.C.T. were 
to provide some first-hand commentary and evaluation on the field 
collection operations in order to determine which aspects of the 
collection or the questionnaire completion were problematic for 
interviewers or respondents. In addition, the debriefings were 
viewed as an excellent mechanism to transmit early warning signals 
on problematic questions which might have to be reassessed in the 
analytical plans. In order to facilitate a coordinated effort and 
to ensure all of the important topics were covered in each session, 
a debriefing guide was developed prior to the conduct of the 
meetings with field staff. While the debriefings were intended to 
provide information on all aspects of the collection activities for 


the N.C.T., particular emphasis was placed on the following topics: 


1) The drop-off operation 

2) The questionnaire 

3) The guide 

4) The public's reaction to the form 

5) The interviewers' reactions and observations. 


Methodology for the Debriefings 


In order to cover the widest possible geography and opinion the 
project team was divided into several sub-groups. Each of the 
groups was assigned the responsibility for debriefing in one or 
more locations. The agenda for the meetings was focused on the 
debriefing guide which was established by the project team several 


weeks prior to the sessions. The debriefings were conducted in 6 
regional offices (St. John's, Halifax, Montreal, Toronto, Winnipeg 
and Vancouver). An attempt was made to select approximately 8 to 
10 interviewers in each location and to mix interviewers from both 
rural and urban assignments. A copy of the debriefing agenda is 


provided in appendix "B" of this report. 
The Drop-off Operation 


The most common observation encountered in all of the sessions on 
the subject of drop-off was difficulty of access. This problem 
manifested itself not only in urban centres but also in many rural 
areas. Interviewers noted that in _the last few years the 
population has become much more security-conscious. In particular, 
high rise rental and condominium apartments were very difficult to 
access. Gaining access to these buildings is hindered by security 
gates and locked lobby doors; it is further exacerbated by the fact 
that many superintendents do not live on the premises. In 
addition, it was noted that in cases where managers and 
superintendents do live in the building they were often very 
uncooperative when they were contacted or approached for admittance 
to the building. 


Another problem which was mentioned with respect to the drop-off 
operation was the community mail box. In many communities the 
absence of door to door mail delivery has meant the removal of mail 
boxes or mail slots from the front door of the dwelling unit. 
Interviewers noted that in these cases it was very difficult to 
find an appropriate place to leave the questionnaire. In all 
debriefing sessions it was noted that having the questionnaire in 
a plastic bag that could be hung on the door knob would have 
greatly facilitated the drop-off operation. Further, it was noted 
by several respondents that when the questionnaire was retrieved 
the elements had, in some cases, made them a "little wind ruffled 
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and soggy". Insertion of the questionnaire in a plastic envelope 
or bag would have eliminated this particular problem. Interviewers 
noted that while the drop-off envelope used for the test was 
visually attractive it could have easily fallen into the category 
of "junk" mail. The message to not make the drop-off envelope or 
bag look like junk mail was very clear. However, when pressed for 
some suggestions as to how not to make the drop-off material look 
like junk mail, one of the responses was that "just about 
everything that shows up in the mail box these days looks like junk 
mail" 


The placement of the "type of dwelling" code was mentioned in at 
least three offices. It was felt that the dwelling code should 
have been located on the front or back cover of the questionnaire, - 
instead of inside the questionnaire on the second last page. These 
locations were preferred because no page turning would be required 


to complete the code at the time of drop-off. 


The format of the assignment control forms was mentioned as a 
problem in the debriefings. The main complaint was the amount of 
information required as well as the inconvenient size of the 
printout paper used for the form. This comment is specific to the 
N.C.T., however, as a different form of assignment control, 


Visitation Record, is used in the census. 
The Questionnaire 


There were no negative comments from the interviewers with respect 
to the design and layout of the N.C.T. questionnaire. Reaction to 
the revised layout with larger print and the new flag logo ranged 
from "fantastic" to a lukewarm, "It was ok." In general, 
interviewers noted that respondents found the print and layout of 
the form fairly easy to work with. Worthy of note was the comment 


made on several occasions that respondents who had difficulty with 


the N.C.T. form design would have difficulty with just about any 
questionnaire. There was also a consensus among interviewers that 
while they acknowledged the effort to simplify the language on the 
questionnaire, the language level was, in general, still over the 
heads of many respondents. This was especially noted by 
interviewers in the edit failure follow-up. At the time of the 
edit follow-up when interviewers read the question as worded on the 
questionnaire, in many cases they found that they had to rephrase 
the question in simpler terms or discuss in some detail with the 
respondent exactly what the desired response really was. 


The Front Page 


Several of the interviewers found that while the instructions on 
how to complete the form (presented on the front cover page of the 
questionnaire) were very clear, they found the front page of the 
document to be a little "too busy." Few respondents read the 
letter from the Chief Statistician. It was also noted that while 
the toll-free number was a very good idea the hours of operation 
for the service should have been placed alongside the telephone 
number. Interviewers stated that while the hours of operation were 
well explained in the guide, few, if any, respondents actually read 
or referred to the guide. In addition, several interviewers felt 
the word "free" should have been highlighted since some respondents 
did not understand the term "toll." Several comments were received 
that the address/location box should have been on the front cover 
of the questionnaire. Having the address and telephone number on 
the front page would simplify follow up operations. This advice 
is contrary to the Price Waterhouse focus group recommendations 


(see N.C.T. Report number 1). 


General Comments 


Several of the interviewers who worked on the last census found 
the form design to be greatly improved over the 1986 version. 
Interviewers noted that the layout of the form was most compatible 
with telephone follow-up since questions can be asked for all 
members of the household without having to repeat the questions for 


each person. 


It was also noted by interviewers that for some respondents the 
"STEP" approach may have caused some confusion. In some instances 
the difference between step 1 and question 1 or step 2 and 
question 2, etc., was not always clear. Interviewers stated that 
respondents in this situation would be in the minority. 


Coverage Questions (Steps 1 through 4) 


In general, there were no significant problems with the coverage 
questions. Interviewers felt that respondents did not usually read 
the small print instructions which accompanied the roster question 
(step 2). Further, some interviewers suspected that in a few cases 
children may have been left off the roster list since the 
instructions do not specifically mention to include them. The 


coverage question on temporary residents (persons who stayed 


overnight-step 3) met with some mixed reaction. Some respondents 
thought that the question was indiscreet. The question seemed to 
evoke sensitivities among younger single populations and the 
elderly, but in general there did not seem to be any substantial 


opposition. 


Agriculture Operator (Step 5) 


Despite a specific question in the debriefing sessions on this 


particular item there were no comments made by the interviewers. 


In general, the question was answered by responding households and 
did not cause any difficulties in the field collection operations. 


Date of Birth/Sex (Questions 2 and 3) 


No problems encountered here. 
Usual Place of Residence (Question 4) 


There was some confusion over the layout of this question. The 
question caused some over-reporting. Persons whose usual place of 
residence was "here" tended to fill in the address again, as per 
step one. There was, consequently, some small portion of the 
population who missed the skip pattern in question 4 and provided 
the same information twice. Interviewers suggested that the format 
of the question be modified in order to avoid this problem of over- 


reporting. 


Relationship to Person 1 (Question 5) 


This question seemed to be well completed by respondents and there 
were no major problems apparent to the interviewers. While the 
format of the question did not cause reporting problems, some of 
the response categories did. In particular, respondents raised the 
problem of no specific category to report "stepdaughters and 
stepsons." The instructions in the guide cover off this situation. 
Respondents are told to include stepchildren as sons or daughters. 
However, interviewers noted that there is reluctance among 
respondents to list stepchildren as sons and daughters. This 
problem was also noted in the Price Waterhouse study (N.C.T. Report 


1, page 4). 


Legal Marital Status (Question 6) 


In many cases responses for this item for children are left blank. 


There were some instances where people who were living in a common- 


law relationship refused to answer question 6. 
Common-law Status (Question 7) 


The term was viewed as both sensitive and incorrect by some 
respondents. Many persons who indicated their marital status in 
question 6 as "Legally married and not separated" skipped question 
7 because they believed it did not apply to them. In addition, the 
question seemed inappropriate for children and in these cases the 
question was just skipped as inapplicable. Some interviewers 
thought that children should be explicitly excluded from this 
question. Interviewers also expressed the sentiment that in a 
number of cases the term common-law was felt to be offensive to 


some respondents. 


Language Questions (Questions 8, 9 and 10) 


Many respondents complained that the questions seemed very 
repetitive and consequently respondents may not have really 
differentiated between them. Comments were made that asking 
"language first spoken" for children who do not as yet speak was 
"stupid." On the whole, however, interviewers found these 


questions to be fairly well completed. 


Cultural Questions (Questions 11 through 17) 


There was some feeling among interviewers, based on feedback at 
the time of the follow-up and re-interview that place of birth of 
parents was a sensitive issue. In particular, those persons who 


were not sure who one or both of their parents were had difficulty 


with the questions in this section requesting information on 
parent(s). It was noted that the guide was of no use in these 
cases since there is no mention of how to complete these questions 


if the parent(s) are unknown. 


Two main themes seemed to emerge from the cultural origins section 
on the N.C.T questionnaire (questions 15 and 16). The first was 
the negative reaction to having the "Canadian" category as the last 
one on the list. It would seem that on a visual review of their 
assignments during the edit and follow-up interviewers found that 
many respondents seem to have gone back and erased or scratched out 
previous responses after seeing the "Canadian" category. on 
several occasions, interviewers said comments were made about 
making the first category "Canadian." The second was the reaction 
from respondents that question 15 and 16 seemed repetitious. In 
some cases respondents do not seem to be picking up the differences 
between the question on "parents/grandparents" and "themselves." 
For those individuals who do see the difference a question raised 


on several occasions is "how far back do you want to go?" 
Race and Colour (Question 17) 


This question was not a problem in any of the debriefing locations 
with the exception of Winnipeg. The question raised little, if 
any: discussion in the other debriefing sessions, with interviewers 
commenting that in most cases the question seemed to achieve good 
levels of response. In summary, with the exception of Winnipeg, 


the question did not appear to be controversial. 


Interviewers in the Winnipeg session noted that respondents found 
the question offensive; in particular, it was resented by Metis 
respondents. Comments were made that if the intent of the question 
was to be realized, the addition of "Brown" as a response category 
should be considered. Several respondents complained about not 


having "Brown" as a response option. 
Religion (Question 18) 


Several interviewers commented that there were complaints about the 
response categories for this item. The comment most frequently 
made was that the response categories were denominations and not 
religions. Consequently, respondents expressed the desire to have 
categories such as "Protestant" and "Christian". This question was 
viewed as offensive by some respondents, in particular those who 
had no religion who felt pressured when asked to report one (even 


if "no religion" was a possible response). 
Mobility (Questions 19, 20, 21) 


These questions posed no major problems. Respondents in some cases 
missed the skip pattern if they had not moved in the last 5 years. 
Consequently, even when they had lived at the same city, they 
tended to fill in the address. This is a problem of over- 
completion of the form and is not deemed to be a serious flaw. It 
is still not clear whether respondents understand the desired 
geographic reporting level in question 21. Where applicable, we 
are looking for a reporting of municipality. The improvements or 
lack thereof will only be determined upon analysis of the weighted 
estimates from this question. 


Family History (Questions 23, 23) 

Ÿ 
The question on fertility was found to be sensitive. There was 
some confusion for single males about where to skip to on the form 
since question 22 applies to women only. Some refinements to the 
skip patterns for this question may be in order. In addition, some 
males responded to the fertility question. 
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Question 23 on marital history caused some confusion among persons 
who lived common-law prior to their marriage to the common-law 
partner. In some of these cases there was confusion over which date 


to report (ie. union or marriage). 
Education (Questions 24, 25, 26, 27, 28, 29) 


In general no major problems were reported during the debriefing 
sessions. Interviewers commented that the layout of these 
particular items seemed to be rather crowded in comparison to other 
questions on the form. This resulted in some intimidation of 
respondents because of the perceived complexity of the questions. 
In question 24 some respondents placed a check mark in the box 
intended for them to enter the number of years. The instruction 
for completion of this item could perhaps be improved by the 
addition of the word "enter" highest grade or year. For question 
28 lawyers do not seem to be enamoured with their inclusion in the 


response category "Bachelor's degree." 
Work (Questions 30 through 42) 


Questions 30 and 31 posed some problems for persons who were in 
the process of changing employers or who were just about to start 
to work. Interviewers noted that the instructions in the guide are 
not very clear for such situations. Very few respondents read the 
note in question 32 concerning "last job and multiple job 
holdings." Interviewers noted that the questions required for 
coding industry and occupation were found by respondents to be 
repetitive (eg, bakery, baker, baking). Interviewers reported 
several complaints with respect to the place of work question 
(question 34). This question was found to be sensitive by many 
respondents and many questioned the need to know this information. 
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Question 39 was the most problematic question on the test. This 
item was mentioned as a problem in every debriefing session. The 
interviewers' evaluation of the item, based on the field edit 
follow-up, was that respondents consistently misinterpreted the 
question. Interviewers found that during the edit follow-up they 
had to go to great lengths to explain the question to respondents. 
The major problem was that respondents reported cumulative years 
of work instead of the requested number of years in which they 
worked. It should be noted that the attention paid to this item 
may have resulted, to some degree, from the complexities in the 
field edit follow-up procedures. The follow-up procedures did not 
make item 30 or 31 mandatory for follow-up. This made 
identification of the population who should have responded to 
question 39 difficult. 


In item 40, many respondents who had worked for the same employer 
for a long period of time (ie., 10 or more years) had a great deal 
of difficulty remembering the month in which they started to work 
for the employer. Most simply attempted to identify a season and 
then made a best guess as to which month. 


Income (Question 43) 


The income questions raised the standard set of objections, these 
being that the government already has this information - get it 
from Taxation and Revenue. Persons receiving federal, provincial 
or municipal social assistance benefits are very sensitive about 
this question. Interviewers noted that while the reason for the 
income question is explained in the guide, it is not often read and 
when it is, few, if any, believe the reasons cited. It was 
suggested that an explanation why income data is not available from 
Taxation and Revenue be developed for both CRs and the guide since 
this is the question most often asked by respondents. | 
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In many cases, and especially in the telephone follow-up, 
respondents rarely, if ever, consulted records. Consequently, most 
responses provided for income were estimates. 


Interviewers noted that on a number of occasions there were 
inquiries by professionals who had incorporated a practice (eg., 
veterinary medicine), regarding where they should report the income 
from the incorporated practice. The question was whether this 
income should be reported in 43(a) as wages and salaries or in 
43(b) as net non-farm self employment income. 


Several interviewers asked if in the income section it would be 
possible to refer to the exact line numbers on the income tax 
forms. In addition, to perhaps solving some definition problems 
they saw this as a incentive for people to consult their tax 


records, thereby improving the accuracy of these data. 


In other income from government sources it was not clear for 
respondents if the value of food stamps or food vouchers and rental 


assistance or subsidy should be included. 
Current Pay Rate (Question 44 and 45) 


The wage rate question did not seem to result in any major 
reporting or collection problems. It would seem that these 
questions were generally well answered. In some cases the income 
questions were responded to and the wage rate question was left 
blank. This seems to be attributable to the fact that in these 
cases the respondent reported total wages and salaries in 43(a) and 


as a consequence felt the wage rate question was repetitious. 
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Dwelling Questions (Questions 46 to 55) 


In general, the comments on this section were positive. A few 
minor problems occurred with some of the reference periods for 
which respondents were asked to report data and the availability 
of these data. For example, question 53 asks for yearly payments 
on electricity, heating fuel, water and municipal services; in many 
cases these are billed monthly or bi-monthly and as a consequence 
a twelve-month reporting period is not one respondents are 
comfortable with. It was the interviewers' impression that few 
respondents referred to accounts or billing records when responding 
to the questions in this section. 


In summary it would appear that from the interviewers' perspective 
the questionnaire, in general, accomplished the collection task for 
which it was designed. The interviewers expressed several concerns 
regarding very sensitive or problematic questions. These problem 
areas identified in the debriefing will receive more scrutiny in 


the data analysis phase of the project. 


Public Reaction 


Interviewers are perhaps in the best position to comment on the 
public's reaction to any particular collection activity. In 
general, the public reaction to the N.C.T. questionnaire as 
assessed by the interviewers was that most respondents felt the 
form was too long and that the information collected was rather 
personal. Having expressed this view, interviewers also noted that 
most respondents completed the forms of their own accord or with 


the help of the interviewer at the time of follow-up. 


Interviewers stressed the point that when contact is made at drop- 


off the return rate is drastically improved. Interviewers noted 
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that in training for the '91 census some emphasis should be placed 
on the substantial advantage of making contact at the time of drop- 
off. Making contact provides the opportunity "to sell the survey." 
Interviewers went as far as to suggest that on a piece-rate basis 
maximizing contact would result in higher monetary per-unit 
earnings. As a preliminary measure it would appear that dwellings 
contacted at the time of the drop-off are 3 times more likely to 
return the questionnaire than those where no contact is made. 


There was also a very clear indication that the content of the 
document was perceived to be burdensome. Many respondents, while 
willing to complete the form, noted that it was a rather 
substantial task. Estimates of completion-time ranged from 15 
minutes to one hour per dwelling. The interviewers' estimate, 
based on the time of interviews for personal follow-up, was a 
completion-time of approximately 30 minutes per household. Times 
of up to 1 1/2 to 2 hours were reported, however. 


Elderly people had difficulty with the questionnaire. It should 
be stressed that this difficulty was not so much as a result of the 
layout of the form or the print but rather with the actual 
questions and concepts themselves. It was felt that this group 
would have difficulty with just about any from of this type. 
Ethnic populations were also reported as having problems with the 


questionnaire. 


It was stated in several of the debriefing sessions that the public 
does not really believe that the data collected are confidential. 
Despite assurances that the N.C.T. information was collected under 
the Statistics Act, it was the interviewers' impression that the 
public at large is very sceptical about the promise of 


confidentiality. 
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Several interviewers encountered specific item non-response. In 
these cases respondents refused to provide information because they 
felt the nature of the inquiry was too personal. In particular, 
the fertility question and income questions were objected to on a 
regular basis. The main reasons for the very few refusals 


encountered were: 


1) that the government demands too much information and most of the 
information asked for on the test has already been collected by 
someone else; 

2) the questions were too personal; 

3) don't believe the data are held in confidence. 


The Guide 
Comments on the guide were negative. The attempt to revamp the 
guide in terms of both content and format was a failure. By 


interviewers' standards the contents of the guide were not very: 
useful. This was primarily attributable to the level of language 
and the contents. The reasons for asking the questions were found 
to be weak. Interviewers noted that they are finding respondents 
are becoming much more concerned about "how" the information will 
be used and by "whom." In addition, several of the detailed 
instructions in the guide were found to confuse issues rather than 
Clarify. The majority of the comments centred on the fact that 


for the very few respondents who use the guide, it was not at all 


useful. There were no negative comments on the bilingual format 
of the guide. Interviewers felt that the bilingual format was 
positive from the aspect of one less piece of material to handle 
at the door step. From the respondents' perspective the bilingual 
format gives the guide the appearance of a novel (too thick and 
very heavy). In addition, having the pages in the guide numbered 
would have been helpful, especially during training. 
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Summary and Conclusions 


Across the country several major issues emerged consistently from 
the debriefing sessions. Number one is the issue of access to 
people. This problem is two-dimensional. The first part is 
physical access - getting into high rise apartments and condos as 
well as delivery problems caused by community mail boxes. The 
second dimension concerns making contact with a household, which 
is becoming increasingly difficult. This is an important issue 
because of the "payoff" in making a contact in terms of improved 
response rates and ease of contact at the time of the field edit. 
The issue of the length of the questionnaire, in terms of the 
amount of information being requested, may be problematic. 
Interviewers! impressions were that, despite the fact most 
respondents answered the N.C.T., the test questionnaire was found 
to be burdensome by most, if not all, respondents. Elderly people 
had problems with the overall task of completing the questionnaire. 
In many instances they required or requested the interviewers' help 
with the completion of the document. Interviewers felt that 
regardless of the design format adopted for '91, this situation 
with the elderly is not likely to change. The issue of privacy was 
common to all regions. Several of the questions on the document 
were deemed to be an invasion of privacy. (Some were found to be 
offensive.) According to reactions received by interviewers 
respondents put little, if any, credence in the assurances of 


confidentiality provided by the Statistics Act. 


Finally, despite some of the flaws identified by the test, in 
general interviewers found the questionnaire to be an improvement 
over the '86 version and, with the exceptions noted above, for the 


most part it seemed to be well completed. 
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APPENDIX B 


DEBRIEFING SESSION 


NATIONAL CENSUS TEST 


PART 1 — DROP-OFF OPERATION 


1. 


Do you have any comments on the handling and organizing of material 
at the door for the NCT Drop-off, that is the size, shape, quantity 
of material, etc.? 


Do you have any comments on situations or problems encountered in 
dropping off the questionnaire at the door, for example, conmunity 
mail box areas, apartment buildings, etc.? 


PART 2 ~ QUESTIONNATRE 


(Ensure all participants have a copy of the questionnaire for this 
discussion. For questions 4 and 5, each page of the questionnaire should 
be reviewed to ensure all problem areas are addressed.) 


3. 


Comment on the questionnaire format and design. 

a) Does the "Step" process work? 

b) Were the skip patterns clear? 

c) Was the questionnaire easy for the respondent to follow? 


Based on the Edit and Follow-up process, what questions caused 
problems or were difficult for the respondents to answer? 


For those of you who completed entire questionnaires with © 


respondents, what questions caused problems or were difficult for the 
respondents to answer? 


Did respondents have to consult records to complete certain 
questions? 


When you interviewed respondents to complete questionnaires, did you 
find it easier to complete all questions for one person at a time or 
did you prefer to have one question answered for all persons at the 
same time? Do you have any feeling for how respondents dealt with 
this "matrix" format? 


Pe tee 


€? 


. 8. What was the average time needed to complete the questionnaire? 


PART 3 - THE GUIDE 
9. Comment on the Guide. 
a) Did respondents use the Guide? 
b) Was it useful? 
c) Was there any reaction to the Guide's bilingual format or content? 


d) Were the explanations and instructions for the ‘questions adequate? 
If not, where were there problems? 


PART 4 - OTHER NCT MATERIAL 


10. Do you have any comments on other material used for the National 
Census Test, i.e., drop-off envelope, mail-back envelope, etc.? 


PART 5 - PUBLIC REACTION 


11. What was the public's general reaction to the National Census Test 
and the questionnaire? 


12. What were the reasons given by respondents for not completing the 
questionnaire? 


a) Begin with the most frequent reason and try to estimate the 
percentage of time each reason occurred. 


b) How often were the following reasons given for not participating? 
(Read only the reasons not covered in 12a).) 


Invasion of privacy 

Recall problems (can't remember) 
Lack of documents or records 
Too long or comlex 


PART 6 = GENERAL REACTION/COMMENTS FROM ALL PARTICIPANTS 


13. Does anyone have any questions or comments to add? (Open the floor 
to all participants including observers.) 
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